James Gordon Brown sinh ngày 20 tháng 2 năm 1951 tại Govan, Glasgow, Scotland,[3][4] mặc dù đôi khi các phương tiện truyền thông[5][6] ghi nơi sinh của ông là Giffnock, Renfrewshire, là con của John Ebenezer Brown, một mục sư thuộc Giáo hội Scotland (Trưởng Lão), John qua đời năm 1998, hưởng thọ 84 tuổi. Brown chịu ảnh hưởng sâu đậm từ cha.[7] Mẹ của Brown, Elizabeth, qua đời năm 2004 ở tuổi 86.[8] Gordon lớn lên cùng hai anh trai, John và Andrew Brown, ở Kirkcaldy.[9] Gordon Brown đã theo học tại trường tiểu học Tây Kirkcaldy và trường trung học Kirkcaldy.[10] Giống nhiều nhân vật nổi tiếng người Scotland khác có xuất thân giống Brown, ông thường được nhắc đến như là "con mục sư".

Lúc 16 tuổi, Gordon vào Đại học Edinburg, theo học môn lịch sử. Do bị rách võng mạc trong một trận đấu bóng bầu dục (rugby), Brown bị mù mắt trái, và phải dùng mắt giả.

Năm 1972, Brown tốt nghiệp Đại học Edinburg với bằng Thạc sĩ hạng tối ưu,[11] rồi tiếp tục hoàn tất chương trình Tiến sĩ năm 1982, với luận án tựa đề Đảng Lao động và sự Thay đổi Chính trị tại Scotland 1918-29.[12]

Năm 1972, khi đang là sinh viên, Brown đắc cử chức Ủy viên (Rector)[13] Đại học Edinburg, tham dự các buổi họp của Hội đồng Quản trị (University Court). Brown phục vụ ở cương vị này cho đến năm 1975. Brown từng giảng dạy tại Edinburg, và là giảng viên môn chính trị học tại Đại học Glasgow Caledonian từ năm 1976 đến 1980. Ông cũng làm việc cho Đài Truyền hình Scotland (Scottish Television) cho đến khi đắc cử vào Quốc hội năm 1983.[14]

Trong cuộc tổng tuyển cử năm 1979, Brown ra tranh cử tại hạt bầu cử Edinburg South, nhưng bị thất bại trước ứng cử viên Đảng Bảo thủ Michael Ancram.[11]